林梓瀚 x 澎湃問吧

當?shù)貢r間2月15日，超強人工智能巨頭OpenAI又出大招——“文生視頻”模型Sora驚艷亮相。轟動在官網(wǎng)上，全球星空app官網(wǎng)版下載v.9.55.87-星空appOpenAI發(fā)布了48條Sora生成的喜憂視頻，其畫面的超強高質(zhì)量和高逼真度，在全球引發(fā)轟動。轟動Sora可根據(jù)文本，全球創(chuàng)建最長達60秒的喜憂視頻。有不少分析表示，超強Sora生成視頻的轟動時長和質(zhì)量前所未見。

Sora到底有多強大？其背后的全球技術(shù)邏輯是什么？對哪些行業(yè)影響巨大？澎湃問吧邀請上海數(shù)據(jù)交易所研究員林梓瀚一起聊聊Sora到底有多強。

林梓瀚，喜憂中國信息化百人會研究員，超強關(guān)注人工智能、轟動數(shù)據(jù)要素、全球數(shù)據(jù)跨境流動以及ICT領(lǐng)域的全球立法與技術(shù)治理，參與國家、地方多部法規(guī)政策的星空app官網(wǎng)版下載v.9.55.87-星空app制定，不知名科幻小說創(chuàng)作者。

Sora的技術(shù)邏輯是什么

@澎湃網(wǎng)友iegcd：Sora的文生視頻是用什么技術(shù)實現(xiàn)的呢？

林梓瀚：目前Sora目前還是基于transformer的技術(shù)框架，然后融合了chatgpt以及DALL-E的技術(shù)框架從而實現(xiàn)文生視頻。而更底層的技術(shù)，由于sora目前沒有公測，有部分人推測，目前Sora之所以能夠?qū)崿F(xiàn)文生視頻，就是來源于其Spacetime latent patches的技術(shù)概念。

Sora可以根據(jù)提示詞從數(shù)據(jù)集里面搜索出與關(guān)鍵詞相匹配的Spacetime latent patches，然后根據(jù)patches之間的邏輯再繼續(xù)生成下一個patches，最后通過邏輯數(shù)據(jù)模型LDM建模以及DiT(Diffusion Transformer)模型,從而在時間軸上生成一個連續(xù)的視頻。Sora就這樣通過一個個連續(xù)patches的生成，從而最后構(gòu)成整個視頻場景。

@有溫度的閱讀者：Sora生成視頻，究竟是大模型在模擬物體運動，還是高級的摳圖并組合？

林梓瀚：Sora號稱是物理世界模擬器，在數(shù)字空間中模擬物理世界的各種物理規(guī)律，從而實現(xiàn)物理世界各種運動在數(shù)字空間的映射。換句話說，Sora模型可以通過生成虛擬視頻來模擬現(xiàn)實世界中的各種物理運動和各種情景。Sora生成視頻的分辨率是非常高的，而且視頻中的基本物理現(xiàn)象也是和現(xiàn)實比較吻合的，不是高級的摳圖可以比擬的。不過目前來看，Sora的一些生成視頻瑕疵也不小，很多基本的物理現(xiàn)象無法呈現(xiàn)出來，比如玻璃破碎等。不過隨著訓練，Sora將會進一步迭代。

@鏟鏟在這里：Sora的素材是哪里來的？會有版權(quán)問題嗎？

林梓瀚：目前Sora的數(shù)據(jù)來源大部分都是合成數(shù)據(jù)，有人推測過，Sora目前極有可能用UE5生成的文本、事情當作合成數(shù)據(jù)，然后用來進行訓練。這其中涉及到版權(quán)的問題主要聚焦在幾個點：

第一，所合成的數(shù)據(jù)與數(shù)據(jù)源的區(qū)別，如果投入了自己的智力創(chuàng)造而合成出新的數(shù)據(jù)，這倒是問題不大，如果和數(shù)據(jù)源無法區(qū)分，這就涉及版權(quán)爭議了；

第二，所生成的視頻，是否有版權(quán)保護，按照美國現(xiàn)行法律來說，美國版權(quán)局認為人工智能自動生成的作品是不受版權(quán)保護的；

第三，生成的視頻如果涉及到某些影視作品片段或者特定風格，是否會侵犯版權(quán)，這大概率是肯定的，而且不僅侵犯版權(quán)，可能還會侵犯特定人物的肖像權(quán)，以及基于著作權(quán)衍生的其他權(quán)利等。

而且對于Sora的侵權(quán)問題討論不僅于此，Sora的出現(xiàn)讓人們驚呼現(xiàn)實不存在了，如果將Sora運用在deepfake ，誰還能分得出真實與虛假呢，將引發(fā)系列問題，包括肖像權(quán)的侵犯、名譽權(quán)的侵犯、甚至詐騙等。不過，刀劍本身無善惡，關(guān)鍵看使刀劍的人是善是惡了。

@SELINAA：Sora跟Chatgpt相比，哪個技術(shù)更加先進一點？

林梓瀚：肯定是Sora哦！Sora雖然也是基于transformer的技術(shù)框架，但是它生成的是視頻，與Chatgpt生成的文本一比，其生成的維度不知道疊加了多少層，難度也不知道增加了多少倍。

Sora將如何顛覆未來

@JiJiJiJiJi：Sora會顛覆哪些行業(yè)？

林梓瀚：Sora是文生視頻工具，也就是可以根據(jù)用戶的描述自動生成描述內(nèi)容的視頻。因此傳統(tǒng)的影視、視頻行業(yè)最先會受到?jīng)_擊，具體的行業(yè)大概有影視行業(yè)、廣告行業(yè)、新聞媒體行業(yè)、游戲行業(yè)等。以前我們的視頻生成需要寫腳本、錄制、剪輯、配音配樂，耗費大量的時間，而現(xiàn)在Sora直接給你來個一鍵生成，且生成的內(nèi)容并不會比傳統(tǒng)工藝生成的視頻差，很難打得過??！

@gdcai：Sora對未來AI行業(yè)的發(fā)展會產(chǎn)生哪些影響？

林梓瀚：人工智能行業(yè)其實涵蓋的領(lǐng)域挺多的，計算機視覺、自然語言處理以及機器人等都包括在內(nèi)，Sora目前是屬于自然語言處理和計算機視覺等技術(shù)的綜合性產(chǎn)品工具、文生視頻工具，集合了gpt和DALL-E等計算，也屬于AIGC的一類。Sora的成功，將會繼續(xù)引爆人工智能行業(yè)在AIGC領(lǐng)域的探索。目前AIGC確實取得了一系列的成果，但是這樣的技術(shù)路線是否就是人類社會所需的呢，只能有待時間檢驗了。

@FREA：Sora會給電影行業(yè)帶來很大的沖擊嗎？

林梓瀚：會的，可能會顛覆整個電影行業(yè)。您想想傳統(tǒng)的影視工業(yè)，從劇本、化妝、服飾、道具以及拍攝、剪片、配樂、配音，整個周期多長呢，現(xiàn)在只要一瞬間您可以依賴Sora直接生成想要的視頻。雖然目前只能生成1分鐘左右，但是后續(xù)隨著技術(shù)的發(fā)展，生成更長時長的視頻也不在話下，這節(jié)省了多少人力物力和時間成本呢！

@一家四人行：在人工智能領(lǐng)域，國內(nèi)追趕上美國的可能性有多大？Sora對工業(yè)的影響會有多大？

林梓瀚：人工智能的基礎(chǔ)主要是數(shù)據(jù)、算法以及算力。數(shù)據(jù)方面其實都好說，數(shù)據(jù)集、數(shù)據(jù)治理的能力技術(shù)都差不多，最多差的就是中文數(shù)據(jù)集的量和英文數(shù)據(jù)集的量，但是這些都好解決。

國內(nèi)和美國差距大的地方在于算力和算法。在算力方面，計算芯片的差距還是比較大的，CPU芯片的差距國內(nèi)和美國差得不小，但是更大的差距還是GPU芯片的差距，GPU芯片目前可以說是人工智能時代的算力核心了。至于算法方面的差距，還是不小了。Sora出來之后，中美在人工智能的差距目前確實正在進一步拉大，但是我們也不用灰心，畢竟風物長宜放眼量，下一個時代的技術(shù)競爭也只是剛開始。而且美國目前的技術(shù)路徑在人類社會發(fā)展的進程選擇上是否正確也是有待思考的。至于說對工業(yè)影響有多大，目前對傳統(tǒng)的電影工業(yè)有著顛覆性的影響。

@向際森：Sora為普通人帶來了哪些實現(xiàn)財富自由的機會？

林梓瀚：用好Sora，一個人就是一個影視工廠，一個人就是一整個營銷團隊，前提是你有豐富的想象力。將你豐富的想象力用在這上面，你將會擁有光怪陸離的世界。說不定未來我們每個人最值錢的就是我們自身的想象力了。